• 数据预处理
• 词向量
  • Word2Vec[3]
  • 词向量与语言模型
• Attention机制
• 文本分类
• 命名实体识别
• 文本匹配
• 预训练语言模型
• 阅读理解
• 自然语言推理
• 关系抽取
• 实体链接
• 文本摘要
• 文本生成
• 关键词抽取
• 开放域对话
• 多模态命名实体识别
• 模型压缩
• 中英文分词
• 任务型对话

数据预处理

NLP 数据增强方法

https://zhuanlan.zhihu.com/p/75207641

https://www.qbitai.com/2020/06/16103.html

https://www.dataapplab.com/enhance-nlp-what-are-the-easiest-use-augmentation-techniques/

文本替代

• 同义词替代：
• 词嵌入替换： 采用嵌入空间中最近的邻接词作为句子中某些单词的替换
• 掩码语言模型：通过bert等这种MLM模型来预测被mask掉的词来做替换，需要注意的是决定哪一个单词被mask是比较重要的

1. OOV - out of vocabulary words

• 采用细粒度的表示 + 粗粒度的表示融合：彻底消灭所有 OOV
• Wordpiece Model： 无法彻底解决OOV
• <UNK>处理
• 扩大词表

2. 数据增强

词向量

https://zhuanlan.zhihu.com/p/29364112

Word2Vec[3]

Word2Vec是Google发布的一个工具， 用于训练词向量，其提供了两种语言模型来供选择， 且Google 基于大规模语料集上训练出了预训练词向量来供开发者或研究者使用。 一般情况下，我们是没有必要自己去训练词向量的，但如果要求特殊，且语料集庞大，自己训练也是可以的。

在Word2Vec中，实现了两个模型：CBOW 与 Skip-Gram。

1. CBOW模型

CBOW，全称Continuous Bag-of-Word，中文叫做连续词袋模型：以上下文来预测当前词 。

如上图是一个两层的神经网络，其实在训练语言模型的过程中考虑到效率等问题，常常采用浅层的神经网络来训练，并取第一层的参数如上图就是 来作为最终的词向量矩阵（参考 语言模型：从n元模型到NNLM）。

CBOW模型的目的是预测 ，我们先来走一遍CBOW的前向传播过程 。

1. 前向传播过程

• 输入层: 输入C个单词： ，并且每个 都是用 One-hot 编码表示，每一个 的维度为 V（词表长度）。

• 输入层到隐层: 共享矩阵为 ，V表示词表长度，W的每一行表示的就是一个N维的向量（训练结束后，W的每一行就表示一个词的词向量）。在隐藏层中，我们的所有输入的词转化为对应词向量，然后取平均值，这样我们就得到了隐层输出值 ( 注意，隐层中无激活函数，也就是说这里是线性组合)。 其中，隐层输出 是一个N维的向量 。

• 隐层到输出层：隐层的输出为N维向量 ， 隐层到输出层的权重矩阵为 。然后，通过矩阵运算我们得到一个 维向量

其中，向量 的第 行表示词汇表中第 个词的可能性，然后我们的目的就是取可能性最高的那个词。因此，在最后的输出层是一个softmax 层获取分数最高的词，那么就有我们的最终输出：

2. 损失函数

我们假定 是真实单词在词汇表中的下标，那么根据极大似然法，则目标函数定义如下：

2. Skip-gram模型

Skip-Gram的基本思想是：已知当前词 的前提下，预测其上下文 ，模型如下图所示：

1. 前向传播过程：

• 输入层： 输入的是一个单词，其表示形式为 One-hot ，我们将其表示为V维向量 ，其中 为词表大小。然后，通过词向量矩阵 我们得到一个N维向量

• 隐层： 而隐层中没有激活函数，也就是说输入=输出，因此隐藏的输出也是 。

• 隐层到输出层：

  • 首先，因为要输出C个单词，因此我们此时的输出有C个分布： ，且每个分布都是独立的，我们需要单独计算， 其中 表示窗口的第 个单词的分布。
  • 其次， 因为矩阵 是共享的，因此我们得到的 维向量 其实是相同的，也就是有 ，这里 的每一行同 CBOW 中一样，表示的也是评分。
  • 最后，每个分布都经过一个 softmax 层，不同于 CBOW，我们此处产生的是第 个单词的分布（共有C个单词），如下：

2. 损失函数

假设 是真实单词在词汇表中的下标，那么根据极大似然法，则目标函数定义如下：

3. 模型复杂度

本节中我们来分析一下模型训练时的复杂度，无论是在CBOW还是Skip-Gram模型中，都需要学习两个词向量矩阵： 。

对于矩阵 ， 从前向传播中可以看到， 可以看到对于每一个样本(或mini-batch)，CBOW更新 的 C 行（h与C个x相关）， 而Skip-Gram 更新W中的其中一行（h与1个x相关），这点训练量并不算大。

对于 而言， 无论是 CBOW 还是 Skip-Gram 模型，每个训练样本(mini-batch)都更新 的所有 个元素。

在现实中，用于语言模型训练的数据集通常都很大，此外词表也是巨大的，这就导致对于 的更新所花费的计算成本是很大的，真的是验证了一个道理：穷逼必要搞语言模型。

为了解决优化起来速度太慢的问题， Word2Vec 中提供了两种策略来对这方面进行优化。

4. Hierarchical Softmax

HS 基于哈夫曼树将计算量大的部分转化为一种二分类问题。

原先的模型中，模型再隐层之后通过 连接输出层，现在 HS 则去掉了 , 隐层向量 h 直接与上图的二叉树的 root 节点相连， 图中的每一个分支都代表一个选择。 上图中白色的叶子节点表示词表中所有的个词， 黑色节点表示非叶子节点， 每一个叶子节点（单词）都对应一条从 root 节点出发的路径，而问题就转化为了使得 这条路径的概率最大， 即： 最大。

用 表示从 root 到叶子节点 w 的路径上的第 j 个非叶子节点, 并且每个非叶子节点都对应一个向量, 维度与h 相同, 然后使用一个sigmod函数: ，结合向量的内积, 来判断该向左还是向右，那么第 n 个节点向左以及向右的概率分别为：

那么就有：

• ：指示函数，条件成立值为1， 反之为 -1
• ：表示整条路径的长度

这样我们就能够通过训练来更新每个非叶子节点的参数 了。举例来说，图上加黑的黑色路径： ， 对于一个训练样本，我们要使得 概率最大：

且需要注意的时，再一个非叶子节点处， 向左向右的概率和为1， 因此一直分裂下去，最后的和肯定还是1， 因此可以得出：

损失函数同样为最大似然：

通过 HS， 隐层到输出层的计算量从 降到了 。

2. Negative Sampling – 负采样

在 Word2Vec 中， 对于输出层来说，我每一个输出节点都要预测词表中所有词在当前位置的概率，在动辄几万甚至几十万大的词表中，用softmax 计算真的十分困难。

但我们的目的不在于训练一个精准的语言模型，而只是为了训练得到语言模型的副产物-词向量，那么我们可不可以把输出压缩呢，将几万的输出压缩到几十程度，这计算量是成几何倍数的下降。

负采样的思路很简单，不直接让模型从整个词表中找最可能的词，而是直接给定这个词（正例）和几个随机采样的噪声词（负例），然后模型能够从这几个词中找到正确的词，就算达到目的了。

那么如何对负例进行采样呢？作者直接使用基于词频的权重分布来获得概率分布进行抽样：

相比于直接使用频次作为权重， 取0.75幂的好处可以减弱不同频次差异过大带来的影响，使得小频次的单词被采样的概率变大。

此时的损失函数为：

Glove []

Questions

Reference Papers

[1] Mikolov, T.(2013). Distributed Representations of Words and Phrases and their Compositionality.

[2] Mikolov, T.(2013). Efficient Estimation of Word Representations in Vector Space.

[3] Rong, X. (2014). word2vec Parameter Learning Explained.

[4] GloVe: Global Vectors for Word Representation

[5] Enriching Word Vectors with Subword Information

[6] Bag of Tricks for Efficient Text Classification

词向量与语言模型

1. 语言模型基础与词向量

语言模型可以简单理解为一个句子 s 在所有句子中出现的概率分布 P(s)。比如一个语料库中有100 个句子，『OK』这个句子出现了5次， 那么 。

那么，如何学习到这种概率分布呢？ 最简单的方法是建立一个无比庞大的语料库，该语料库中包含了人类成百上千年间可能讲过的所有的话，那么我们不就可以算出这句话出现的概率了吗。可惜此方法不现实。

那么，能不能通过数学的方法进行表示呢？答案是可以滴，因为 S 是一个序列 ，那么可以展开为：

那么现在的问题就变成了我们如何计算

统计方法 - n元模型

回忆概率论：

我们观察上式，会发现， 比较好算， 也还ok， 就比较有难度了，随着n的增大，计算会越来越难， 几乎根本不可能估算出来。怎么办？

**马尔可夫假设：**假设任意一个词 出现的概率只同它前面的n个词 有关。由此，那么就有：

缺陷：

1. 无法建模更远的关系，语料的不足使得无法训练更高阶的语言模型。
2. 无法建模出词之间的相似度。
3. 训练语料里面有些 n 元组没有出现过,其对应的条件概率就是 0,导致计算一整句话的概率为 0。解决这个问题有两种常用方法： 平滑法和回退法。

深度学习方法 - 神经网络语言模型[1]

首先，我们回到问题本身，我们为什么要计算 ， 我们的目的是为了通过大规模语料库学习到语言内部的概率分布。那么有没有办法通过深度学习的方式来学习到这种概率分布呢？

观察上图，假设有一组词序列： ，其中 ， 是所有单词的集合。我们的输入是一个词序列，而我们的输出是一个概率值，表示根据context预测出下一个词是 的概率。用数学来表示，我们最终是要训练一个模型：

• 表示这个词序列中的第 个单词， 表示输入长度为n的词序列中的第一个单词
• 表示从第1个单词到第 个单词组成的子序列

因此我们发现，该模型的每个样本其实计算的是：

词向量 - 表示语言的方式

前面我们通过 NNLM 可以知道，通过语言模型的训练，模型可以学习到语言的概率分布，那么如何将学习到的信息应用到下游任务呢？ 这就是词向量产生的背景，如何用向量来表示语言信息，这里我们简单介绍下 Word2vec[4]。

首先明确一点的是， 词向量是语言模型的副产物。 怎么理解呢，意思是说，词向量是语言模型训练完成后产生的。

这里我们以word2vec 的 CBOW 训练模型为例：

通过这样训练完成后，把 保存下来，我们就得到了词向量。

2. 预训练语言模型 - 用模型表示语言

前面提到，我们的最终目的还是通过语言模型来获得某种语言的表示，但是我们看到，上面那种训练方式，似乎不太合适，那个最后 消失不见了，并且模型没有做深。

我们此处总结一下word2vec的弱点：

• 模型无法做深，词向量的表征能力有限，词向量的抽象程度不高
• 词向量获得的是上下文无关的，难以解决歧义问题上
• OV 词无法解决

很有意思的是， 相差几个月的时间， ELMO ，GPT， BERT 相继诞生了，都非常具有代表性。 下面会进行分别介绍。

0. NLP 特点

在进入预训练语言模型之前，我们先来看看对于NLP来说，最重要的是什么。

首先是 NLP 的特点：

1. 输入是一个一维线性序列

2. 输入是不定长的，这点对于模型处理起来会比较麻烦

3. 单词位置与句子位置的相对位置很重要，互换可能导致完全不同的意思

4. 句子中的长距离特征对于理解语义也非常关键。

其次是，NLP 中的几大常见的任务：

1. 序列****标注： 分词，词性标注，命名实体识别等。 特点是句子中每个单词要求模型根据上下文都要给出一个分类类别
2. 分类任务： 文本分类， 情感分析。 特点是不管文章有多长，总体给出一个分类类别即可。
3. 句子关系推断： QA， 自然语言推理。 特点是给定两个句子，模型判断出两个句子是否具备某种语义关系。
4. **生成式任务：**机器翻译， 文本摘要。特点是输入文本内容后，需要自主生成另外一段文字。

最后，我们来聊聊三大基本单元： CNN，LSTM，Transformer。

首先先看简单回顾下 Transformer的self-attention 机制，该机制在预训练语言模型中起到了至关重要的作用。我们看到，对于 Transformer 来说，通过self-attention 机制，词与词之间的关系一目了然，并且不会受到文本长度的限制。 然后注意，在 Attention is all you need 这篇文章中，Transformer 是 Encoder-decoder 架构的，这与后面BERT 所用的有所不同，后面BERT 所用的只是 transformer_block。

于是我们总结一下这三个基本单元的优缺点：

RNN：

• 优点：天生的具有时序结构，十分适合解决NLP问题
• 缺点：
  1. 反向传播时所存在的优化困难问题， 即梯度消失，梯度爆炸问题，进而导致对超长距离依赖的解决不佳
  2. 并行能力，进而导致难以做深

CNN：

• 优点：
  1. 可以并行，可以做的非常深
  2. 能够很好的捕捉 n-gram 特征
• 缺点：
  1. 无法解决长距离依赖问题
  2. 对于位置信息不敏感

Transformer：

• 优点：
  1. self-attention 天生的就解决了长距离依赖问题
  2. 可以并行，可以做的非常深
  3. 位置信息通过 position embedding 很好的补充了
• 缺点：
  1. 对于超长文本，会导致非常大的计算复杂度
  2. 位置信息依赖于 position embedding

1. ELMO

elmo 是通过 L 层的双向LSTM语言模型来学习上下文信息的，这就解决了上文提到的前两个问题，而针对 OV词， ELMO 采用了 char-level 来生成词向量进而进行训练。而对于ELMO 的不同层而言，不同层的 LSTM 能够把握不同粒度和层级的信息，比如浅层的 LSTM 把握的是单词特征， 中层的 LSTM 把握 句法 特征，深层的 LSTM 把握语义特征。

但， ELMO 的缺点也十分明显：

• LSTM 特征抽取能力远弱于 Transformer ， 并行性差
• 拼接方式双向融合特征融合能力偏弱
• 层数浅，只有2层

2. BERT

语言模型：

我们先来看模型架构， BERT-base 采用12 层的 Transformer，这里简单提一下，BERT 的架构相当于 Transformer 的Encoder-decoder 架构中的Encoder。

再然后，我们看下，输入的组成部分，输入包含三个部分，分别是

• token embedding：词向量，第一个单词是CLS标志，可以用于之后的分类任务
• Segment Embeddings：区别两种句子，因为预训练不光做LM还要做以两个句子为输入的分类任务
• Position Embeddings：和之前文章中的Transformer不一样，不是三角函数而是学习出来的

最后，我们看下预训练训练任务部分。

首先是 Masked LM：随机遮蔽输入 token 的15%，然后预测被遮住的 token。这样会带来一个问题，即训练与微调阶段的不一致性，因为训练阶段采用了 [MASK] 而 fine-tune 阶段并没有。为了减轻该问题， we do not always replace “masked” words with the actual [MASK] token. 具体做法如下：

假如我们有一句话， my dog is hairy ， 被选中的词为hairy，数据生成器并不总是将hairy替换为[MASK]，此时的过程如下：

• 80% 情况下： 用[MASK] 替换 hairy
• 10% 情况下： 随机选一个词如apple 来替换hairy
• 10%: 不改变这句话

然后是 NSP，即Next Sentence Prediction，选定一个句子A，B作为预训练样本，B有50%的可能是A的下一句，也有50%的可能是语料库的随机句子。

2. GPT 1.0

其实GPT 1.0 要比 BERT 出来的早，但是吃了不会宣传的亏啊。首先来看语言模型：

跟bert 有很明显的差别，但是符合原来语言模型的的定义。

其次， 模型结构采用单向Transformer， 这是由于语言模型决定的。

第三个是， embedding 不包含 NSP 这种 segment embedding。

说到这里，我们就说完了基础的三个预训练语言模型，接下来我们探讨下如何更好的使用预训练语言模型。

3. 如何使用预训练语言模型

1. 是否要进行微调[1]

我们是直接采用训练好的向量还是用预训练语言模型进行微调呢？

『冰』表示freeze， 『火』表示微调的结果。

实际上，对于大多数的任务， BERT 进行微调的方式总是比提取向量再训练的方式能够获得更佳的效果。因此，在条件允许的情况下，推荐采用微调的方式。

2. 是否要进行再次预训练[2]

答案是需要。

我们知道现在的预训练语料采用的都是百科，书籍等比较规范的数据，而实际业务中的数据千差万别，可以这么理解，预训练本身获得的是语料库中文本的分布，而如果预训练数据分布与业务数据分布偏差较大，会带来一些负面影响。

因此，针对一些业务，如果数据与百科数据差别非常大，先进行预训练，然后再进行微调是一种比较合适的方式。

我们这里简单介绍下[2] 中的结论

1. 在目标领域的数据集上继续预训练（DAPT）可以提升效果；目标领域与语言模型的原始预训练语料越不相关，DAPT效果则提升更明显。
2. 在具体任务的数据集上继续预训练（TAPT）可以十分“廉价”地提升效果。
3. 结合二者（先进行DAPT，再进行TAPT）可以进一步提升效果。
4. 如果能获取更多的、任务相关的无标注数据继续预训练（Curated-TAPT），效果则最佳。

3. BERT 向量 vs Glove 向量

接下来我们分析下 ， BERT 相对于 Glove 向量，到底强在哪里。 首先是训练数据规模的影响，

• 随着数据规模的扩大，Glove 向量的表现与 BERT 向量的表现差距越来越小，我们看到当训练数据足够多的时候，Glove 在一些任务上能够获得略差于BERT的影响，但是在绝大多数情况下依旧比BERT 向量差很多，这说明 BERT 对于小数据集的优越性。
• 在简单任务上，随着数据量的增加， Glove 能达到 BERT 十分接近的效果

然后是语言特征：

• **the complexity of text structure：**句子结构的复杂性
• Ambiguity in word usage: 单词的歧义性。
• Prevalence of unseen words：未登录词出现的概率

上图我们可以得出以 BERT 为代表的 Contextual embeddings 在解决一些文本结构复杂度高和单词歧义性方面有显著的效果。

4. 预训练语言模型 - 后时代

首先，我们来分析一下这张图，从上往下：

• Contextual： 谈论 静态 embedding 与 上下文 embedding，被做烂了，pass。
• Architectures： 模型整体架构，这部分还有的探讨，可以参见上面 T5 的Model Architecture 部分。 目前业界还没有统一的标准说应该选择哪种架构，不过从 T5 的效果来看， Transformer+Encoder+Decoder 的效果是最好的，但参数量也上去了。其实就目前来看，研究的意义不是很大了，除非说能出现一个大的突破。
• Task Types： 谈论了两件事： 语言模型的选择以及Contrastive Learning，其实这两个应该分开讨论。
• Multi-Lingual： 从多国语言的角度出发，这方面不太懂，也不感兴趣，觉得用处不会太大。
• Multi-Modal： 多模角度，我个人认为这对于工业界是十分有意义的。
• Knowledge Enriched： 知识 + 预训练语言模型，我觉得这是一个很值得研究的方向，无论是在工业界和学术界。
• Domain Specific： 特定领域 + 预训练语言模型，我觉得这方面很有搞头，毕竟很多专有领域跟公共领域还是很不同的，比如医学，生物，法学等。由于每看过相关文章，无法说上面的模型与 bert在同样语料上预训练后哪个效果好，但还是有一定参考价值的。
• Language-Specific： 这块我觉得还是很有研究价值的，毕竟我们中文跟英文从各个方面来说差距还是蛮大的，如果能对语言有深入了解，感觉还有搞头。
• Model Compression： 模型压缩，这个在工业界用处很大，十分建议研究，需求也很大，一些蒸馏方法所需要的资源门槛也比较低，如果有资源，有idea，建议入坑。

考虑到涉及到的内容太多，我这里抽取四个部分讨论，分别是： Architectures， Task Types， Knowledge Enriched 以及 language generation。

1. AE vs AR

AR 语言模型：自回归语言模型，指的是，依据前面（或后面）出现的 tokens 来预测当前时刻的 token， 代表有 ELMO， GPT 等。

AE 语言模型：通过上下文信息来预测被 mask 的 token， 代表有 BERT , Word2Vec(CBOW) 。

AR 语言模型：

• **缺点：**它只能利用单向语义而不能同时利用上下文信息。 ELMO 通过双向都做AR 模型，然后进行拼接，但从结果来看，效果并不是太好。
• 优点： 对生成模型友好，天然符合生成式任务的生成过程。这也是为什么 GPT 能够编故事的原因。

AE 语言模型：

• 缺点： 由于训练中采用了 [MASK] 标记，导致预训练与微调阶段不一致的问题。 此外对于生成式问题， AE 模型也显得捉襟见肘，这也是目前 BERT 为数不多实现大的突破的领域。
• 优点： 能够很好的编码上下文语义信息， 在自然语言理解相关的下游任务上表现突出。

2. GPT 系列

1. GPT 2.0

GPT 2.0 验证了数据的重要性，即使单纯的从数据角度入手，效果就可以获得巨大的提升。GPT 2.0 采用800w 互联网网页数据，这样训练出来的语言模型，能够覆盖几乎所有领域的内容。

第二个意义在于，GPT 2.0 开始探索了预训练语言模型在 zero-shot 下的表现。这方面在GPT 3.0 中体现的淋漓尽致。

• 预训练数据与网络深度的重要性，目前也没有到极限。
• GPT 2.0 的生成效果非常惊艳，至少语法，流畅度等方面是没有问题的，就是没有灵魂
• zero-flot 也不是不可以

2.0 GPT 3.0

先来介绍一下几个概念：

• FT，fine-tuning：就是微调啦
• FS，few-shot：允许输入数条范例和一则任务说明
• One-shot：只允许输入一条范例和一则任务说明
• Zero-shot：不允许输入任何范例，只允许输入一则任务说明

GPT 3.0 本质上是探索超大型预训练语言模型在 few-shot，one-shot，zero-shot 上的可能性，这是延续之前 GPT 2.0 的研究，整体上，GPT 3.0 在 zero-shot 下能获得相当不错的结果。

3. BERT 系列

1. Roberta

roberta 是bert 的一个完善版，相对于模型架构之类的都没有改变，改变的只是三个方面：

1. 预训练数据：

   • BERT采用了BOOKCORPUS 和英文维基百科， 总共16GB。而 RoBERTa采用了BOOKCORPUS + 英文维基百科+ CC-NEWS+OPENWEBTEXT+STORIES， 总共160GB。
   • Roberta 于bert 都采用 512 个token 作为序列长度，但与bert不同的是， robert 不会随机掺杂一些短句，这意味着 roberta 采用的都是长句。

2. 动态mask vs 静态 mask：

   • **静态mask：**Bert 在准备训练数据时，每个样本只会进行一次随机mask，每个epoch都重复使用，后续的每个训练步都采用相同的mask。
   • 修改版静态mask： 在预处理时将数据集拷贝10次，每份数据采用不同的mask。
   • 动态mask：不在预处理时进行mask，而是在每次向模型输入时动态生成mask

3. 数据格式与NSP：

   • **Segment-pair + NSP：**与bert一样。输入包含两个 segment，这两个segment可能会来自同一个文档或不同文档，两个segment 的token 数均小于 512，预训练任务包含 MLM 与 NSP。
   • **Sentence+pair + NSP：**输入包含两个 sentence，两个句子可能来自同一文档或不同文档，两个句子 token 数均少于 512。预训练任务包含 MLM 与 NSP。
   • **Full-sentences：**输入只有一部分，来自同一个文档或不同文档的连续句子，token总数不超过512。输入可能跨越文档边界，如果跨文档，则在上一个文档末尾添加文档边界token。不包含NSP任务。
   • **Doc-sentences：**输入只有一部分，输入来自同一个文档的连续句子，token总数不超过512。预训练不包含 NSP 任务。

   通过四个对比实验我们发现：

   • Segment-pair 较好于 sentence-pair，可能是因为 segment 能够学习到长距离依赖关系。
   • Doc-sentences 几乎在所有任务中表现最佳，这意味着 NSP 任务没有什么用
   • Doc-sentences 略好于 Full-sentences。

2. T5

4. 预训练语言模型与自然语言生成

这里我们先来回顾一下BERT和GPT， 前面提到， BERT 本质上相当于 Transformer 中的 Encoder， 而GPT 相当于 Transformer 中的 Decoder。既然我们已经验证了 Transformer 在文本生成领域的成功，尤其是机器翻译领域， 那么当我们想用于生成问题的时候，很自然的想到有没有办法把二者结合起来呢？

MASS 就是基于这样的思想。

1. MASS

MASS 的思想很简单， 对于输入序列 x， mask 该句从 u 到 v 位置上的token，记为 ， 而对应的， 从 u 到 v 位置上的 token 片段记为 。 k = v - u + 1 表示 mask 的窗口大小 ， 表示一句话中多少个 token 被 mask 。 对于 MASS 的语言模型来说， 其输入为 mask 后的序列 ， 输出为被 mask 后的序列 。

为何 MASS 适合生成

首先， 通过 Seq2Seq 框架来预测被 mask 的tokens 使得 Encoder 去学习没有被 mask 的 token 的信息， 而Decoder 去学习如何从 Encoder 中提取有效的信息。

然后， 与预测离散的 tokens相比，Decoder 通过预测连续的 tokens， 其能够建立很好的语言生成能力。

最后， 通过输入与输出的 mask 匹配， 使得 Decoder 能够从Encoder 中提取到有意义的信息，而不是利用之前的信息。

MASS 总结来说有以下几点重新：

• 引入了 Seq2Seq 来训练预训练模型。
• mask 掉的是一段连续的tokens而不是离散的 mask， 有助于模型生成语言的能力。
• Encoder 中是 mask 掉的序列，而 Decoder 中是对应被mask的 tokens。

2. UNILM

UNILM 同样想融合bert与gpt ，然而走了与 MASS 完全不同的路子，它想通过多任务学习的方式来解决。UNILM 这篇文章，厉害在同时使用多个预训练语言模型训练这个思想，在预训练任务中包含了三种语言模型：

• Bidirectional LM ： BERT 的 mask LM

• Unidirectional LM：GPT 的 语言模型，包括 left-to-right 到 right-to-left

• Seq2Seq LM： 句子间LM。输入两个句子，第一个句子采用双向LM方式，第二个采用单向LM 方式。

3. BART

BART 与 MASS 的基本思想一致，都是受到 Transformer 在机器翻译领域的成功，尝试将 Transformer架构跟预训练结合起来。

但是与 MASS 不同的是，他们输入的数据格式有很大的差别，Decoder 也有较大的差别。与MASS 相比， BART 完全延续 Transformer 原来的架构方式。

训练数据：

• Token Masking 和BERT一样，随机选择token用[MASK] 代替。
• Token Deletion 随机删除token，模型必须确定哪些位置缺少输入。
• Text Filling 屏蔽一个文段，文段长度服从泊松分布（λ=3）。每个文段被**一个[MASK]**标记替换。如果文段长度为0，意味插入一个[MASK]标记（灵感来自Span-BERT）。
• Sentence Permutation 以句号作为分割符，将一篇文章分成多个句子，并随机打乱。
• Document Rotation 随机均匀地选择一个token，以这个token为中心，旋转文档，选中的这个token作为新的开头，此任务训练模型以识别文档的开头。

5. 预训练语言模型融入知识

1. ERNIE

ERINE 的网络架构，语言模型等与 BERT 完全相同，与BERT 不同的主要有两点：

• 数据的mask
• NSP 任务 与 DLM

首先我们来看 mask 方式，ERNIE 的 mask 包括三部分：

1. BERT 的 basic-level mask 预训练

2. Phrase-level 预训练

3. Entity-level 预训练

但是我们反过来看这篇文章，它融入知识了吗？ 我觉得没有，对于知识图谱来说，实体本身的含义很重要，但是实体的关系同样非常重要，而这篇文章并没有融入任何的关系信息。

2. ERNIE (清华)

这篇文章最核心的点在于，将BERT的信息与TransE 的信息进行融合

我们看到，上述整个模型可以整体分为两部分：

• T-Encoder： 与 Bert 的预训练过程完全相同，是一个多层的双向 Transformer encoder， 用来捕捉词汇和语法信息。
• K-Encoder： 本文创新点，描述如何将知识图谱融入到预训练模型。

3. K-BERT

Reference

语言模型基础与词向量：

[1] A Neural Probabilistic Language Model

[2] Mikolov, T.(2013). Distributed Representations of Words and Phrases and their Compositionality.

[3] Mikolov, T.(2013). Efficient Estimation of Word Representations in Vector Space.

[4] Rong, X. (2014). word2vec Parameter Learning Explained.

预训练语言模型：

[1] ELMO: Deep contextualized word representations

[2] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

[3] GPT 1.0: Improving Language Understanding by Generative Pre-Training

[4] GPT 2.0: Language Models are Unsupervised Multitask Learners

[5] GPT 3.0: Language Models are Few-Shot Learners

应用预训练语言模型：

[1] To tune or not to tune? adapting pretrained representations to diverse tasks.

[2] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

预训练语言模型 - 后时代：

[2] ERNIE - Enhanced Language Representation with Informative Entities

[3] ERNIE - Enhanced Representation through Knowledge Integration

[4] ERNIE 2.0 - A Continual Pre-training Framework for Language Understanding

[5] MASS - Masked Sequence to Sequence Pre-training for Language Generation

[6] UNILM - Unified Language Model Pre-training for Natural Language Understanding and Generation

[7] XLNet - Generalized Autoregressive Pretraining for Language Understanding

[8] RoBERTa - A Robustly Optimized BERT Pretraining Approach

[9] TransformerXL: Attentive Language Models Beyond a Fixed-Length Context

如何预训练一个好的预训练语言模型：

[1] Pre-trained Models for Natural Language Processing: A Survey

[2] T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

1

Bag of Tricks for Efficient Text Classification

语言模型与词向量基础

1. 语言模型基础与词向量

语言模型可以简单理解为一个句子 s 在所有句子中出现的概率分布 P(s)。比如一个语料库中有100 个句子，『OK』这个句子出现了5次， 那么 。

那么，如何学习到这种概率分布呢？ 最简单的方法是建立一个无比庞大的语料库，该语料库中包含了人类成百上千年间可能讲过的所有的话，那么我们不就可以算出这句话出现的概率了吗。可惜此方法不现实。

那么，能不能通过数学的方法进行表示呢？答案是可以滴，因为 S 是一个序列 ，那么可以展开为：

那么现在的问题就变成了我们如何计算

2. 统计方法 - n元模型

我们观察上式，会发现， 比较好算， 也还ok， 就比较有难度了，随着n的增大，计算会越来越难， 几乎根本不可能估算出来。怎么办？

马尔可夫假设：假设任意一个词 出现的概率只同它前面的n个词 有关。由此，那么就有：

缺陷：

1. 无法建模更远的关系，语料的不足使得无法训练更高阶的语言模型。
2. 无法建模出词之间的相似度。
3. 训练语料里面有些 n 元组没有出现过,其对应的条件概率就是 0,导致计算一整句话的概率为 0。解决这个问题有两种常用方法： 平滑法和回退法。

3. 深度学习方法 - 神经网络语言模型[1]

首先，我们回到问题本身，我们为什么要计算 ， 我们的目的是为了通过大规模语料库学习到语言内部的概率分布。那么有没有办法通过深度学习的方式来学习到这种概率分布呢？

观察上图，假设有一组词序列： ，其中 ， 是所有单词的集合。我们的输入是一个词序列，而我们的输出是一个概率值，表示根据context预测出下一个词是 的概率。用数学来表示，我们最终是要训练一个模型：

• 表示这个词序列中的第 个单词， 表示输入长度为n的词序列中的第一个单词
• 表示从第1个单词到第 个单词组成的子序列

因此我们发现，该模型的每个样本其实计算的是：

Attention机制

Attention 机制 – 基础篇

Hard vs Soft [1]

Attention首先分为两大类：Hard Attention 与 Soft Attention， 两者的区别在于 Hard Attention 关注一个很小的区域，而soft Attention 关注的相对要发散。 举个机器翻译方面的例子：

我是小明 –> I am XiaoMing

• 对于 Hard Attention而言，在第1时刻翻译时，只关注“我”这个词，我们翻译得到“I”，在第2时刻翻译时，关注“是”这个词，翻译结果为“am”，以此直到 t 时刻结束。 它是采用one-hot编码的方式对位置进行标记，比如第1时刻，编号信息就是[1,0,0…]， 第二时刻，编码信息就是 [0, 1, 0, …]， 以此类推。这样会带来一个缺点：无法采用常规优化方法来进行优化，具体的训练细节很复杂，不推荐深入了解。
• 而对于soft attention 而言，在第一时刻翻译时， “我是小明” 都对 “I” 做出了贡献，只不过贡献有大小之分，也就是说，虽然“我”这个词很重要，但是我们也不能放过其他词所带来的信息。

比较二者而言，很显然，soft attention有很大的优势，因此，对于NLP领域而言，目前大多数的研究都基于 soft Attention 进行扩展。

虽然 [1] 具有很强的开创意义，但其毕竟是关于CV领域的，不推荐精读，因此我没有写任何公式，个人十分推荐下面这篇文章来作为 Attention 的第一篇精读论文。

Global vs Local [2]

在 soft attention阵营中，很快又划分为两大阵营： Glocal attention 与 Local attention， 二者的区别在于关注的范围大小不同， 其中，Global attention 关注全部的文字序列，而 Local attention 关注的是固定的窗口中的所有文字序列。

比较二者， Global attention 的计算量要比 Local Attention 要大，尤其是对于长句子而言，效率变得很低； 而 Local Attention 只与窗口内的文字相关，因此窗口的大小就显得至关重要了，且在local attention 中多了一个预测中心词 的过程，这有可能会忽略一些重要的词， 但同时，如果选择适当，那么 local attention 理应会降低无关词的干扰，当然，所带来的收益并不大。 而对于窗口的设置，论文中采用高斯分布来实现，如下：

另一方面，由于Global Attention考虑的信息较多，因此从原理上讲要更好一些，毕竟local attention 可能会忽略对当前输出很重要的词，且 Local Attention 的表现与窗口的大小密切相关，如果设置小了，可能会导致效果变得很差。

而考虑到NLP中问题的复杂性（如句子长短不一，句子之间可能有很强的相关性），因此后来的很多论文[3][4]中很少考虑采用 Local Attention 方法，且我自己在做阅读理解任务时，也基本不会考虑Local Attention， 毕竟窗口大小的设置实在太考验人了。

• Global Attention

• local attention

Attention的本质思想 [5] [6]

在上图中，Query 表示我们的问题信息，在阅读理解问题中，其对应的就是 question，而在机器翻译中，常常采用上一时刻的输出信息 作为 Query；

对于 { key:value }而言，大多数情况下key与value是相同的，一般指的是第 j 个词的表示, 比如在机器翻译中， key 与 value 通常采用词的隐层输出 。我们通过计算 Query 与各个 key 之间的相似性或相关性来获得 ，然后对各个进行加权求和：

由上式可以看到，对于Attention机制的整个计算过程，可以总结为以下三个过程：

• socre 函数： 根据 Query 与 Key 计算两者之间的相似性或相关性， 即 socre 的计算。
• **注意力权重计算：**通过一个softmax来对值进行归一化处理获得注意力权重值， 即 的计算。
• **加权求和生成注意力值：**通过注意力权重值对value进行加权求和， 即 的计算。

总的来说，Attention 无论如何变化，总是万变不离其宗。 对于大多数 Attention 的文章来说，其变化主要在于 Query， Key， Value 的定义以及第一阶段 Score 的计算方法，下面我们来详细讨论一下。

Score 函数的选择 [6] [2]

Score 函数本质的思想就是度量两个向量的相似度。

常见的方式主要有以下三种：

• 求点积：学习快，适合向量再同一空间中，如 Transformer 。

• Cosine 相似性

• MLP网络

一般情况下，采用MLP网络更加灵活一些，且可以适当的扩展层以及改变网络结构，这对于一些任务来说是很有帮助的。

Query, Key, Value 的定义

对于一个 Attention 机制而言，定义好 Query， Key， Value 是至关重要的，这一点我个人认为是一个经验工程，看的多了，自然就懂了。 我这里简单举阅读理解与机器翻译的例子：

• 对于机器翻译而言，常见的是： Query 就是上一时刻 Decoder 的输出 ， 而Key，Value 是一样的，指的是 Encoder 中每个单词的上下文表示。
• 对于英语高考阅读理解而言， Query 可以是问题的表示，也可以是问题+选项的表示， 而对于Key， Value而言，往往也都是一样的，都指的是文章。而此时Attention的目的就是找出文章中与问题或问题+选项的相关片段，以此来判断我们的问题是否为正确的选项。

由此我们可以看出， Attention 中 Query， Key， Value 的定义都是很灵活的，不同的定义可能产生不一样的化学效果，比如 Self-Attention ，下面我就好好探讨探讨这一牛逼思想。

Self-Attention [5]

Self-Attention 可以说是最火的 Attention 模型了，其在最近很火的 Bert 中也起到了重要的作用，最关键的是，其可与 LSTM 一较高低。

这篇文章是十分值得精读，反复看的，因为其真正的将 Attention 用到了另一个新的高度，膜拜 Google。鉴于篇幅所限，本文就不赘述其中详细原理了，而是简述一下其核心思想。

Self-Attention 的本质就是自己注意自己， 粗暴点来说，就是，Q，K，V是一样的，即：

它的内部含义是对序列本身做 Attention，来获得序列内部的联系，如下图所示 [7]。

这其实是有点类似于我们在 Embedding 层的时候采用 LSTM 来获得输入序列的上下文表示，但与 LSTM 不同之处在于Self - Attention 更能够把握句子中词与词的句法特征或语义特征，但另一方面其对于序列的位置信息不能很好的表示，这也是为什么会采用 Postition Embedding 来对位置信息做一个补充，但对于一些对位置信息敏感的任务，position Embedding 所带来的信息可能会不够。

之所以说这篇文章具有开创意义，是因为其将Attention用到了一个基础单元上， 为取代LSTM提供了一种可能。

Reference

[1] Show, Attend and Tell: Neural Image Caption Generation with Visual Attention – 不推荐

[2] Effective Approaches to Attention-based Neural Machine Translation

[3] Neural Machine Translation by Jointly Learning to Align and Translate

[4] Neural Responding Machine for Short-Text Conversation

[5] Attention is all you need

Refernece

Attention模型：我的注意力跟你们人类不一样

Do People and Neural Networks Pay Attention to the Same Words? Studying Eye-tracking Data for Non-factoid QA Evaluation

1
2

https://mp.weixin.qq.com/s?__biz=MzIwNzc2NTk0NQ==&mid=2247513060&idx=1&sn=8d96a41ed097c9c4acf1b3d54af271ba&chksm=970f9b32a0781224fe7a450ed7428b9943839bacdb1874098469a4946234dfd8aea4ed8caf4b&scene=21&cur_album_id=1350016038754385921#wechat_redirect
https://mp.weixin.qq.com/s?__biz=MzIwNzc2NTk0NQ==&mid=2247503650&idx=1&sn=c2030b24daa7bf0f227379dcb639930f&scene=21#wechat_redirect

推荐先看

The Illustrated Transformer

代码： The Annotated Transformer

此外，代码十分推荐看 Bert-pytorch 里面的实现，代码比上述的要更加清晰，可以看完上述代码与 bert 之后再看。

1. Scaled Dot-product Attention

• 首先， Q 与 K 进行了一个点积操作，这个就是我在 Attention 讲到的score操作；
• 然后经过 Scale 操作，其实就是为了防止结果过大，除以一个尺度标度 ， 其中 是 Q 中一个向量的维度；
• 再然后， 经过一个Mask操作； 考虑到Q，K都是矩阵，且由于句子的长度是不定的，因此Q，K中必然会有一个补齐的操作，为了避免补齐的数据会影响我们Attention的计算，因此需要将补齐的数据设置为负无穷，这样经过后面的Softmax后就接近于 0，这样就不会对结果产生影响了。
• 最后经过一个 Softmax 层， 然后计算Attention Value。

我们可以看到，这个依旧沿袭的是 Attention 的经典思想，不过在其中添加了一些操作如Scale， Mask，这意味着，对于Attention 而言， 其只要核心思想不变，适当的调整数据能够获得更好的结果。其公式如下：

这里解释一下 Scaled Dot-product Attention 在本文中的应用，也是称为 Self-Attenion 的原因所在，这里的Q，K， V 都是同源的，意思就是说，这里是句子对句子自己进行Attention来查找句子中词之间的关系，这是一件很厉害的事情，回想LSTM是怎么做的，再比较 Self-Attention， 直观的感觉，Self-Attention更能把握住词与词的语义特征，而LSTM对长依赖的句子，往往毫无办法，表征极差，这一点会单独讨论。

2. Muti-head Attention

这里多头的含义其实就是采用多个Attention来从多个维度来把握词的信息，我们从图中看到，这里有 h=8 个Attention，每个Attention输出一种 Self-Attention 的结果，然后 Concat 起来。

• 首先，Q，K， V 进过了一个线性变换，然后再传入到 Scaled Dot-Product Attention 中， 注意一点，对于不同的 Scaled Dot-Product Attention 而言， 变换矩阵是不一样的，且这些变换矩阵都参与训练。
• 然后，将每个 Attention 的输出 Concat。
• 最后，进过一个线性变换输出，这个线性变化矩阵也是可训练的。

3. 残差网络，Normalization与feed-forward network

• 首先，Encoder 与Decoder中都有着很明显的残差连接，这种残差结构能够很好的消除层数加深所带来的信息损失问题。这也是一篇很值得看的文章。
• 其次，有一个Layer Normalization过程，这在神经网络中其实也是很常见的手段，也是很经典的一篇文章。
• 然后，数据经过了一个前馈神经网络， 该前馈神经网络采用了两个线性变换，激活函数为Relu，公式如下：

4. Transformer 中如何使用 Multi-head Attention

Transformer 中使用 Multi-head Attention要注意以下几点：

• 在 Encoder 与 Decoder 中的黑色框中，采用的都是是 Self-Attention ，Q，K，V 同源。
• 需要注意的是只有在 Decoder 中的 Muti-head 中才有 Mask 操作，而在Encoder中却没有，这是因为我们在预测第 t个词时，需要将 t 时刻及以后的词遮住，只对前面的词进行 self-attention，这点不理解的话可以回想一下Sequence-to-Sequence那篇文章中对机器翻译的训练过程 。
• 在黄色框中， Q 来自Decoder层， 而 K， V来自Encoder的输出 。

5. Positional encoding

由于 Self-Attention 自己是把握不到句子的顺序信息的，因此，Transformer 需要采用 Positional encoding 来获取序列的顺序信息，论文中采用了正余弦函数的方式。

本质上的核心思想是： 在偶数位置，使用正弦编码，在奇数位置，使用余弦编码

通过上式，我们可以得出：

6. 最后的 Linear 与 Softmax

这个其实没什么好说的，一般都会在最后一层加一个前馈神经网络来增加泛化能力，最后用一个 softmax 来进行预测。

回归到整体

前面已经将所有的细节都讲的很清楚了，这里回到整体的情况下来简要谈一下论文中的Encoder与Decoder。

• Encoder 是由一个Stack组成， Stack中有6个相同的Layer， 每个Layer的结构如3图中所示
• Decoder 同样由一个Stack组成， Stack中也有6个相同的Layer， 与 Encoder中的Layer有所差别， 主要是多了一个将Encoder输出引入的Muti-Head机制，这点在3图中也能很明白的看出来。

QA

1. Mask 三连问

mask 操作是什么？

mask 操作是对某些值进行掩盖，使得其再参数更新时不产生效果。

它是怎么做的？

通过将需要被mask的位置设置为负无穷，这样在后面的Softmax后，这些位置的概率就接近于 0，这样就不会对结果产生影响了。

为什么要 mask ？

Transformer 本身的 mask 操作分为两部分： padding mask 与 sequence mask。

• Padding mask： 考虑到每个批次中输入序列的长度是不一样的，而往往我们要先进行对其，对不足长度的文本进行 padding， 而这些padding 的词其实是没有意义的， 因此我们在做 Self-attention 的时候应该忽略它。

• Sequence Mask： 在Decoder 中，其不应该看见未来的信息，即对一个序列，当 time_step=t 时， 我们Decoder 的输出应该只依赖于 t 时刻之前的输入，而不应该依赖于 t 时刻之后的输入。

  具体的做法是，产生一个上三角矩阵，上三角的值全为 1，下三角的值权威0，对角线也是 0。

2. Scaled Dot-product Attention 中的Scaled 是啥，有啥用？

Scaled 就是缩放数据。

• 比较大的输入会使得 softmax 的梯度变得很小，当数量级较大时， softmax 将几乎全部的概率分布都分配给了最大值对应的标签， 此时梯度消失为 0， 参数更新会变得困难。
• 假设 Q， K 的各个分量是相互独立的随机变量，均值为 0， 方差为1，那么点积 的均值为 0， 方差为 。 方差越大，说明点积的数量级越大，通过除以 将方差稳定到 1， 可以有效的控制前面提到的梯度消失问题。

3. 为什么 Position embddding 采用正余弦函数 ？

因为有：